大数据的是与非
大数据不是什么?
1，大数据≠拥有数据
很多人觉得拥有数据，特别是拥有大量的数据，这就是大数据了，这个是肯定不对的，数据量大不是大数据，比如气象数据很大，如果仅仅用于气象预测，只要计算能力跟上就行，还远远没有发挥它的价值。但是保险公司根据气象大数据，来预测自然灾害以及调整与自然灾害相关的保险费率，它就演化出其它的商业价值，形成了大数据的商业环境。所以，大数据要使用，甚至关联，交换才能产生真正价值，形成DT时代特有的大数据商业。
2，大数据≠报表平台，
有很多企业，建立了自己业务的报表中心，或者是大屏展示中心，就马上宣布他们已经实现了大数据，这是远远不够的。报表虽然也是大数据的一种体现，但是真正的大数据业务，不是生成报表靠人来指挥，那是披着大数据外表的报表系统而已。在大数据闭环系统中，万物都是数据产生者，也是数据使用者，他们通过自动化，智能化的闭环系统，自动学习，智能调整，从而提升整体的生产效率。
3，大数据≠计算平台
之前看过一个报道，说某某金融机构建立了自己的大数据系统，后来仔细一看，就是搭建了一个几百台机器的Hadoop集群而已。大数据计算平台，是大数据应用的技术基础，是大数据闭环中非常重要的一环，也是不可缺少的一环，但是，不能说有了计算平台就有了大数据。比如我买了锅，不能说我已经有了菜，从锅到菜还缺原料(数据)，刀具(加工工具)，厨师(数据加工)才能最终做出菜来。
4，大数据≠精准营销
见过很多创业公司在做大数据创业，仔细一看，人家做的是基于大数据的推荐引擎、广告定投等等。这是大数据吗?他们做的是大数据的一种应用，可以说已经是大数据的一种了。只是大数据整个生态，不能通过这一种就来表达而已。正如大象的耳朵是大象的一部分，但是，它不能代表大象。
那大数据到底是什么?
简单讲，大数据需要有大量能互相连接的的数据(不管是自己的，还是购买，交换别人的)，他们在一个大数据计算平台(或者是能互通的各个数据节点上)，有相同的数据标准能正确的关联(如ETL，数据标准)，通过大数据相关处理技术(如算法，引擎，机器学习)，形成自动化、智能化的大数据产品或者业务，进而形成大数据采集，反馈的闭环，自动智能的指导人类的活动，工业制造，社会发展等。
数据正在金融，广告，零售，物流，影视等行业，悄悄地改变我们的生活。随着手机的更大规模的普及，还是日新月异的可穿戴设备、智能家居、甚至无人驾驶汽车，都在提醒我们，以互联网(或者物联网)、云计算、大数据为代表的这场技术革命正引领人类社会加速进入农业时代、工业时代之后的一个新的发展阶段 — 数据时代(DT时代)。
前两个时代分别以土地、资本为生产要素，而正在我们面前开启的数据时代，正如其名，数据将成为最核心的生产要素。
在未来，数据将成为商业竞争最重要的资源，谁能更好的使用了大数据，谁将领导下一代商业潮流。所谓无数据，不智能;无智能，不商业。下一代的商业模式就是基于数据智能的全新模式，虽然才开始萌芽，虽然才几个有限的案例，但是，其巨大的潜力与力量，已经被人们认识到。
在下一代的革命中，不管是工业4.0(中国叫中国制造2025)，还是物联网(甚至是一个全新的协议与标准)，随着数据科学与云计算能力(甚至是基于区块链的分布式计算技术)，唯独数据是所有系统的核心。万物互联，万物数据化之后，基于数据的个性化、智能化将是一次全新的革命，将超越100多年前开始的自动化生产线的工业3.0，给人类社会整体的生产力提升带来一次根本性地突破，实现从0到1的巨大变化。
正是在这个意义上，这是一场商业模式的范式革命。商业的未来、知识的未来、文明的未来，它们本质上就是人的未来。而基于数据智能的智能商业，就是这未来的起点。
数据的应用技术是指对数据进行加工，把数据转化成商业价值的技术，如算法，以及由算法衍生出来的模型，引擎，接口，产品等等。这些数据加工的底层平台，包括平台层的工具，以及平台上运行的算法，也可以沉淀到一个大数据的生态市场中，避免重复的研发，大大的提高大数据的处理效率。
大数据首先需要有数据，数据首先要解决采集与存储的问题，数据采集与存储技术，随着数据量的爆发与大数据业务的飞速发展，也是在不停的进化过程中。
在大数据的早期，或者很多企业的发展初期，是只有关系型数据库用来存储核心业务数据，就算数据仓库，也是集中型OLAP关系型数据库。比如很多企业，包括淘宝早期，就用Oracle作为数据仓库来存储数据，当时建立了亚洲最大的Oracle RAC作为数据仓库，按当时的规模来说，可以处理10T以下的数据规模 。
一旦出现独立的数据仓库，就会涉及到ETL，如数据的抽取，数据清洗，数据校验，数据导入甚至数据安全脱敏。如果数据来源仅仅是业务数据库，ETL还不会很复杂，如果数据的来源是多方的，比如日志数据，APP数据，爬虫数据，购买的数据，整合的数据等等，ETL就会变得很复杂，数据清洗与校验的任务就会变得很重要。
这时的ETL必须配合数据标准来实施，如果没有数据标准的ETL，可能会导致数据仓库中的数据都是不准确的，错误的大数据就会导致上层数据应用，数据产品的结果都是错误的。错误的大数据结论，还不如没有大数据。由此可见，数据标准与ETL中的数据清洗，数据校验是非常的重要。
最后，随着数据的来源变多，数据的使用者变多，整个大数据流转就变成了一个非常复杂的网状拓扑结构，每个人都在导入数据，清洗数据，同时每个人也都在使用数据，但是，谁都不相信对方导入，清洗的数据，就会导致重复数据越来越多，数据任务也越来越多，任务的关系越来越复杂。要解决这样的问题，必须引入数据管理，也就是针对大数据的管理。比如元数据标准，公共数据服务层(可信数据层)，数据使用信息披露等等。
随着数据量的继续增长，集中式的关系型OLAP数仓已经不能解决企业的问题，这个时候出现了基于MPP的专业级的数据仓库处理软件 ，如GreenPlum。greenplum采用了MPP方式处理数据，可以处理的数据更多，更快，但是本质上还是数据库的技术。Greenplum支持100台机器规模左右，可以处理PB级别数据量。Greenplum产品是基于流行的PostgreSQL之上开发，几乎所有的PostgreSQL客户端工具及PostgreSQL应用都能运行在Greenplum平台上，在Internet上有着丰富的PostgreSQL资源供用户参考。
随着数据量的继续增加，比如阿里每天需要处理100PB以上数据，每天有100万以上的大数据任务。以上的解决方案发现都没有办法来解决了，这个时候，就出现了一些更大的基于M/R分布式的解决方案，如大数据技术生态体系中的Hadoop，Spark和Storm。他们是目前最重要的三大分布式计算系统，Hadoop常用于离线的复杂的大数据处理，Spark常用于离线的快速的大数据处理，而Storm常用于在线的实时的大数据处理。以及阿里云推出的数加，它也包括了大数据计算服务MaxCompute(前ODPS)，关系型数据库ADS(类似Impala)，以及基于Java的Storm系统JStorm(前Galaxy)。
大数据生态技术体系
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Hadoop作为一个基础框架，上面也可以承载很多其它东西，比如Hive，不想用程序语言开发MapReduce的人，熟悉SQL的人可以使用Hive开离线的进行数据处理与分析工作。比如HBase，作为面向列的数据库运行在HDFS之上，HDFS缺乏随即读写操作，HBase正是为此而出现，HBase是一个分布式的、面向列的开源数据库。
Spark也是Apache基金会的开源项目，它由加州大学伯克利分校的实验室开发，是另外一种重要的分布式计算系统。Spark与Hadoop最大的不同点在于，Hadoop使用硬盘来存储数据，而Spark使用内存来存储数据，因此Spark可以提供超过Hadoop100倍的运算速度。Spark可以通过YARN(另一种资源协调者)在Hadoop集群中运行，但是现在的Spark也在往生态走，希望能够上下游通吃，一套技术栈解决大家多种需求。比如Spark Shark，是为了VS hadoop Hive，Spark Streaming是为了VS Storm。
Storm是Twitter主推的分布式计算系统，它由BackType团队开发，是Apache基金会的孵化项目。它在Hadoop的基础上提供了实时运算的特性，可以实时的处理大数据流。不同于Hadoop和Spark，Storm不进行数据的收集和存储工作，它直接通过网络实时的接受数据并且实时的处理数据，然后直接通过网络实时的传回结果。Storm擅长处理实时流式。比如日志，比如网站购物的点击流，是源源不断、按顺序的、没有终结的，所以通过Kafka等消息队列来了数据后，Storm就一边开始工作。Storm自己不收集数据也不存储数据，随来随处理随输出结果。
其上的模块只是大规模分布式计算底层的通用框架，通常也用计算引擎来描述他们。
除了计算引擎，想要做大数据的加工应用，我们还需要一些平台工具，如开发IDE，作业调度系统，大数据同步工具，BI模块，数据管理，监控报警等等，他们与计算引擎一起，构成大数据的基础平台。
在这个平台上，我们就可以基于数据做大数据的加工应用，开发大数据应用产品了。
未来的制造业要的不是石油，它最大的能源是数据.